Vũ Văn Hộ sinh năm 513, là con trai của Vũ Văn Hạo (宇文顥) và là cháu nội của Vũ Văn Quăng (宇文肱) - một thủ lĩnh Tiên Ti tại Vũ Xuyên (武川, nay thuộc Hohhot, Nội Mông). Mẫu thân của ông là Diêm thị, có lẽ là chính thất của Vũ Văn Hạo. Vũ Văn Hộ được thuật lại là đặc biệt lanh lợi khi còn nhỏ tuổi và được Vũ Văn Quăng yêu quý.

Năm 524, các châu phía bắc của Bắc Ngụy chìm trong loạn Lục Trấn, Vũ Văn Quăng và các con trai sau đó đã buộc phải chạy trốn và gia nhập vào quân của Tiên Vu Tu Lễ- một lãnh đạo nổi dậy. Vũ Văn Quăng đã tử trận trong khi phục vụ dưới trướng của Tiên Vu Tu Lễ, có lẽ Vũ Văn Văn Hạo cũng qua đời vào cùng thời điểm đó. Sau đó, Tiên Vu Tu Lễ bị bộ tướng Nguyên Hồng Nghiệp (元洪業) giết chết vào năm 526, một bộ tướng khác là Cát Vinh đã giết chết Nguyên Hồng Nghiệp và nắm quyền kiểm soát quân của Tiên Vu Tu Lễ, Vũ Văn Hộ nằm trong đội quân của Cát Vinh cùng các thúc phụ.

Năm 528, sau khi Nhĩ Chu Vinh đánh bại Cát Vinh, Nhĩ Chu Vinh đã buộc đội quân của Cát Vinh, bao gồm cả họ Vũ Văn, đến căn cứ của ông ta tại Tấn Dương (晉陽, nay thuộc Thái Nguyên, Sơn Tây). Vào năm 531 hoặc 532, khi Vũ Văn Thái phụng sự dưới quyền tướng Hạ Bạt Nhạc ở các châu phía tây, Vũ Văn Hộ đã đến Bình Lương với thúc phụ. Khi đi, ông đã để lại cả mẫu thân Diêm thị và người cô ruột ở lại Tấn Dương. Do khi đó Vũ Văn Thái chưa có con trai, nên đến khi phải đi chiến đấu, ông ta đã giao phó gia đình mình cho Vũ Văn Thái cai quản. Vũ Văn Hộ đã không quản lý gia đình của Vũ Văn Thái một cách nghiêm ngặt, song vẫn duy trì được uy nghiêm. Khi Vũ Văn Thái chứng kiến việc này, ông ta đã nói rằng:"chí của đứa trẻ này giống với ta".

Năm 533, khi Hạ Bạt Nhạc kiểm soát thêm Hạ châu (夏州, nay gần tương ứng với Du Lâm, Thiểm Tây), ông ta đã phong Vũ Văn Thái làm thứ sử, Vũ Văn Thái để Vũ Văn Hộ ở lại phụng sự cho Hạ Bạt Nhạc. Đến khi Hầu Mạc Trần Duyệt sát hại Hạ Bạt Nhạc vào đầu năm 534, các tướng của Hạ Bạt Nhạc đã mời Vũ Văn Thái làm lãnh đạo, Vũ Văn Thái chấp thuận. Vũ Văn Hộ đã trở thành một bộ tướng của thúc phụ trong cuộc chiến đấu sau đó với Hầu Mạc Trần Duyệt, kết quả là quân của Vũ Văn Thái đã chiến thắng.